OneSearch-VL:统一图像/视频的多模态深度研究 Agent
🧭 多模态深度研究 Agent 统一训练 ★ 深度解读
BUAA · CUHK · NTU · THU · HFUT
以视觉证据图 VGEG 与证据/定位双层奖励 EVGR 为核心,统一训练单图、多图、视频深度研究 Agent
📌 工作参考价值(4 点)
- 用显式证据图统一数据构造、SFT 轨迹过滤与 RL 过程奖励:在电商商品图像/视频理解中,可构建「视觉 anchor → 商品实体 → 来源化属性事实 → 答案操作」的 VGEG 结构,使商品问答/导购 Agent 的证据链路可追溯,便于生成训练数据和做细粒度评测。
- 把过程奖励拆成 evidence traceability + visual grounding 两个维度:最终答案正确之外,分别检验检索事实是否被工具观察支持,以及模型是否真的定位到正确商品区域/视频帧。消融显示两者同时使用比只用答案+query 奖励平均高 3.8 个点,适合迁移到电商多模态 Agent 的 RL 训练,降低幻觉和“不看图就答”。
- 评测按 research operation 分层,而不是只报总体准确率:单 anchor lookup、multi-hop、多 anchor join/comparison/arithmetic、knowledge-conditioned counting 等操作化分层,能定位 Agent 具体弱项;电商场景同样可以按“属性抽取、跨商品比较、规格计算、多图统计”拆 benchmark,避免平均分掩盖能力短板。
- 单图/多图/视频联合 SFT 有跨输入迁移收益:共用同一套 action-observation 工具 schema 和动作空间,联合训练达到 55.8 平均分,优于单类型训练;电商场景中商品主图、多角图、商品视频共用一套策略,可以减少多套系统维护成本并提升一致体验。
GraphForge:基于图锚定工作空间合成训练工作智能体
🧭 Agent 工作智能体训练数据合成
University of Science and Technology of China · Fudan University · Shanghai Innovation Institute · Shanghai AI Laboratory
用证据图从真实文件合成可验证的工作智能体训练数据,微调后多项基准显著提升
📌 工作参考价值(4 点)
- 可用真实业务文件(商品目录、投放报表、用户日志)构建工作区,并用证据图显式编码文件间关系,确保多步任务每个要求都能追溯到具体支撑文件,避免模型编造数据,适合生成电商运营、广告投放、搜索优化等 Agent 训练集。
- 任务 rubric 与原始文件/单元格锚定,使奖励信号或拒绝采样筛样具备可审计性,降低 reward hacking 和评估噪声,可迁移到 RLHF/DPO 等 Agent 优化流程。
- SFT 后增加 rejection fine-tuning:用自身 rollout 并通过 rubric 筛选高质量候选,无需新增人工标注即可进一步提升 Agent 效果,适合业务 Agent 的快速迭代。
- 初始 rollout 可执行性检查 + revision agent 修复不可行任务,能自动清洗可能失败/不可完成的训练样本,降低坏样本对模型的影响。
EviGraph:面向信息搜索智能体的可验证证据构建
🧭 Agent 搜索证据图与过程奖励 RL ★ 深度解读
WeChat, Tencent Inc., Beijing, China
将智能体网络搜索重构为可验证证据图构建,以共享策略分离搜索与证据记录,用稠密过程奖励直接监督证据基础
📌 工作参考价值(4 点)
- 对电商导购/搜索 Agent:把「检索到的商品或卖点」与「用户查询约束」显式建图,每个卖点必须锚定来源 span 并标记 support/conflict;可避免用相关但时间、地区、数值错误的页面回答,适合商品事实校验、选品问答、推荐理由生成。
- 采用「冻结 verifier + 确定性 structural validator + 可学习 policy」的分离架构:把不可靠的语义判断和结构化校验分开,policy 只提图编辑请求,错误可局部归因;工程上可用规则引擎做图校验,降低对单一 LLM 的依赖和幻觉。
- 过程奖励设计可迁移:coverage 用 potential-based shaping,配合 canonical signature 去重、per-triple bonus cap、KL penalty,能抑制 reward hacking 和重复记录;可用于训练搜索/推荐 Agent 的中间 grounding。
- 多约束查询可拆成 candidate–constraint claim,每个 tag 独立追踪 MISSING/SUPPORT/CONFLICT,适合电商商品属性(产地、年份、价格、代言人)验证和 push 文案事实核查,让 Agent 明确知道还缺哪些约束。
LongCrafter:通过证据图引导的指令合成实现多样化长上下文理解
🧭 长上下文指令合成 · 训练数据增强
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences
提出证据图引导的长上下文指令合成框架,覆盖32种任务,训练数据显著提升长文本理解并缓解迷失中间问题
📌 工作参考价值(4 点)
- 分层任务分类(局部/浅层 vs. 全局/深层)可指导电商场景中长文本训练数据的构造,例如用户长评论总结或长商品描述理解任务。
- 证据图建模跨段落依赖并严格基于证据生成问答对,能保证指令的忠实度,可借鉴到可信长上下文数据合成,如从多段商品介绍中生成属性问答。
- 合成数据覆盖不同难度且证据位置多样化,能有效缓解模型在长序列中的“迷失中间”问题,适合训练需要从长用户行为序列中精确定位的推荐模型。
- 证据跨度定位提升了模型的可解释性和鲁棒性,可用于构建需要从长文档中提取关键信息的Agent系统。
FORT-Searcher:合成抗捷径搜索任务以训练深度搜索智能体
🧭 深度搜索Agent训练数据合成 ★ 深度解读
Renmin University of China · KAUST · IQuest Research · Shanghai Jiao Tong University
提出抗捷径数据合成框架 FORT,通过控制证据共覆盖、单线索选择性等风险生成高难度搜索轨迹,仅用 SFT 训练即可在深度搜索基准上取得最优。
📌 工作参考价值(4 点)
- 捷径风险检查:在构造多步推理任务(如电商知识问答、商品溯源)时,应主动检查证据是否被同一条搜索结果覆盖、单条线索是否过于特化、表面文本是否泄露了中间关键实体,防止模型绕过搜索直接作答。
- 对抗验证与自动修复:利用强 Agent 对合成题目进行“试跑”,根据轨迹中的答案命中时间、先验绑定率等指标自动诊断并修复易走捷径的题目,可用于生成高质量 Agent 训练数据,类似方法在推荐解释生成查询中同样适用。
- 模糊化策略:问题表述时用范围、类别、元属性代替精确值,可迫使模型进行多跳检索,这一思路可迁移到生成式推荐中的语义 ID 构建或查询改写,强化模型的信息获取能力。
- 上下文重置机制:当 Agent 陷入低效搜索时,清空历史并重启可显著提升复杂任务的成功率(在 BrowseComp 上提升 16.3 点),可作为 Agent 推理系统中的兜底策略。
Argus:证据拼装实现可扩展深度研究Agent
🧭 Agent多智体协作优化 ★ 深度解读
MiroMind AI
通过Searcher和Navigator协作构建共享证据图,将深度研究转化为证据拼图,实现并行搜索的线性扩展。
📌 工作参考价值(4 点)
- 用证据图解耦搜索与推理:在电商知识图谱问答或Agent任务规划中,可以将并行执行的子任务结果抽象为图结构(节点=证据/主张,边=支持/矛盾),由协调Agent在图层面进行验证与派发,避免直接拼接长上下文,压缩比可达1200:1。
- 对比奖励驱动验证学习:借鉴GRPO+对比奖励(verification前后得分差),训练Agent学会识别回答中的缺失证据并主动查询,在电商多跳问答或生成式推荐中可让模型自动补全信息缺口,而非被动合并。
- 独立训练、组合推理:将Searcher(执行器)和Navigator(协调器)分开训练,Searcher保持标准ReAct,Navigator通过RL掌握何时验证、派发、合成,推理时可按需切换单/并行模式,类似电商场景中前端搜索Agent与后端推理Agent的解耦设计。
- 图结构提高可解释性:最终答案每个声称都追溯到证据节点和URL,实现完全可审计。在电商推荐理由生成中,可构建主张-证据链,提升用户信任和合规性。